Hòn Bà: Tương truyền thời còn bị quân Tây Sơn truy sát, chúa Nguyễn Ánh từng trốn ra Côn Lôn ẩn trú và tính kế mượn nhờ sức mạnh người Pháp để phục thù. Một người thiếp của ông tên Yến (tục gọi là Răm) đã khuyên can. Chúa nổi giận, đày bà ra đảo Côn Lôn Nhỏ, từ đó đảo này có tên gọi là hòn Bà.[34]
Hòn Trác và Hòn Tài: Tương truyền chúng bắt nguồn từ tên của hai anh em sinh đôi là Đặng Phong Tài và Đặng Trác Vân.[35] Cả hai đều là tùy tùng phò vua Hàm Nghi chống thực dân Pháp. Năm 1899, Pháp đày Đặng Phong Tài ra Côn Đảo; tại đây ông kết duyên cùng một cô gái tên Đào Minh Nguyệt. Về sau, người em Đặng Trác Vân cũng bị đày ra đây. Người chị dâu nảy sinh tình ý với em chồng, khiến Vân dần cảm thấy lo ngại và bèn quyết định bỏ sang hòn đảo khác. Khi Tài lần sang đảo tìm em thì Vân lại bỏ đi tiếp đảo khác nữa.[35]
